本发明涉及一种基于多元特征的微博信息传播行为预测方法及系统。它是从微博网络获取网络数据,并对相关数据进行预处理,然后根据经预处理获得的数据,建立相应的预测模型,基于所述预测模型预测用户行为趋势。本发明可以用于网络安全控制。
1.一种基于多元特征的微博信息传播行为预测方法,其特征在于:包括如下步骤:a、微博网络数据预处理步骤,获取网络数据,并对相关数据进行预处理,所述微博网络数据预处理步骤包括计算每个原帖下,各用户的内容特征、网络特征及时间特征;所述内容特征共8个,原帖T与用户u发帖集合V₁的内容相似性特征f₁,原帖T与用户u转帖集合V₂的内容相似性特征f₂,原帖T是否包含URL的特征f₃及该URL在用户参与帖子集合V(V=V₁+V₂)中出现次数特征f₄,原帖T是否包含hashxa0tag的特征f₅及该hashxa0tag在用户参与帖子集合V中出现次数特征f₆,原帖T是否包含引用的特征f₇及该引用在用户参与帖子集合V中出现次数特征f₈,上述原帖T与V₁的相似性为T与集合V₁所有帖子相似性的平均值ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="616"/>其中集合V₁包含帖子V₁=<T₁,T₂,T₃
...T_m>,帖子T_i经分词和去停止词后对应的n维词条向量为<w_i1,w_i2,w_i3
...w_in>,其中w_ij为帖子中词条j的权重,因此任意两帖子T_i、T_j相似性为 sim < T i , T j > = Σ k = 1 n w ik × w jk Σ k = 1 n w ik 2 × Σ k = 1 n w jk 2 ; ]]>b、微博网络预测模型建立步骤,根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测步骤,基于所述预测模型预测用户行为趋势。
2.如权利要求1所述的一种基于多元特征的微博信息传播行为预测方法,其特征在于:所述网络特征共6个,原帖T作者的好友数特征f₉,原帖T作者的追随者数特征f₁₀,原帖T作者与用户u的共同好友数特征f₁₁,T作者与用户u的共同追随者数特征f₁₂,T作者与用户u的共同引用数特征f₁₃,T作者与用户u的共同转帖数特征f₁₄。
3.如权利要求1所述的一种基于多元特征的微博信息传播行为预测方法,其特征在于:所述时间特征共3个,用户u当前活跃度特征f₁₅,原帖发布时间特征f₁₆,最近一小时内网络中的新帖子数特征f₁₇。
4.如权利要求1所述的一种基于多元特征的微博信息传播行为预测方法,其特征在于:所述微博网络预测模型建立步骤,其模型为最大熵模型,最大熵模型使用已有的帖子作为训练数据,将每个原帖下用户的特征作为模型输入,用户是否转发原帖,以0和1表示,作为模型输出,使用迭代方法训练模型参数。
5.一种基于多元特征的微博信息传播行为预测系统,其特征在于:包括:a、微博网络数据预处理模块,用于获取网络数据,并对相关数据进行预处理,所述微博网络数据预处理模块进一步包括:计算用户内容特征、网络特征、时间特征模块;所述内容特征共8个,原帖T与用户u发帖集合V₁的内容相似性特征f₁,原帖T与用户u转帖集合V₂的内容相似性特征f₂,原帖T是否包含URL的特征f₃及该URL在用户参与帖子集合V(V=V₁+V₂)中出现次数特征f₄,原帖T是否包含hashxa0tag的特征f₅及该hashxa0tag在用户参与帖子集合V中出现次数特征f₆,原帖T是否包含引用的特征f₇及该引用在用户参与帖子集合V中出现次数特征f₈,上述原帖T与V₁的相似性为T与集合V₁所有帖子相似性的平均值ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="614"/>其中集合V₁包含帖子V₁=<T₁,T₂,T₃
...T_m>,帖子T_i经分词和去停止词后对应的n维词条向量为<w_i1,w_i2,w_i3
...w_in>,其中w_ij为帖子中词条j的权重,因此任意两帖子T_i、T_j相似性为 sim < T i , T j > = Σ k = 1 n w ik × w jk Σ k = 1 n w ik 2 × Σ k = 1 n w jk 2 ; ]]>b、微博网络预测模型建立模块,用于根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测模块,用于基于所述预测模型预测用户行为趋势。技术领域
本发明涉及基于多元特征的微博信息传播行为预测方法,尤其涉及微博信息传播过程中基于多元特征的用户行为模型建立。本发明还涉及基于多元特征的微博信息传播行为预测系统。属于网络安全领域。
背景技术
根据中国互联网络信息中心(CNNIC)2011年1月19日发布的《第27次中国互联网络发展状况统计报告》的数据,截至2010年12月,我国网民规模已达4.57亿,互联网普及率达到34.3%。其中,手机网民一年增加6930万人,规模已达3.03亿人,占整体网民的66.2%。WEB2.0理念的普及与相关技术的日益成熟,使网络内容的生产者已经从过去单纯的网站制作人员逐渐转变为网站和广大网络用户的混合群体,包括新闻评论、跟帖、社交网络(博客、微博、交友、论坛)等新型网络应用不断出现,信息传播方式多样化。而网络舆论,以其草根化、自由化和多元化,已经成为影响现实社会的一股不可忽视的力量。微博客也称“微博”,是Web2.0时代新兴的一种集成化、开放化的互联网社交服务;它作为一个可以即时发布消息的类似博客的系统,方便用户可以通过手机、即时通信软件和外部的应用程序编程接口等途径向其微博客发布消息。一般发布的消息是200字以内(通常是140字的限制)。微博客以其简单快捷的操作方式、随时随地发布信息的互动形式让越来越多的人参与的互联网中来。但是,由于其信息来源的广泛性和不确定性,一些敏感信息和虚假信息经过微博的发酵后,可迅速成为网络突发事件,由此带来的巨大影响往往让人触不及防,其引发的安全问题值得深究(S.Vieweg,A.L.Hughes,etc.Microbloggingxa0Duringxa0Twoxa0Naturalxa0Hazardsxa0Events:Whatxa0Twitterxa0Mayxa0Contributexa0toxa0Situationalxa0Awareness[C].Inxa0Internationalxa0conferencexa0onxa0Humanxa0factorsxa0inxa0computingxa0systems(CHI),pagesxa01079-1088,2010.)。微博中用户转帖是最有效的信息传播机制。当用户发现一条微博信息值得分享时,他将复制该信息,并转发到自己的页面,供其追随者查看。从而该信息的传播范围已超出了原始作者的关系网络,并且传播过程中保持了信息的完整性。目前对微博网络已有大量的研究,集中在分析转帖行为及其相关因素。W.Galuba等(W.Galubaxa0andxa0K.Aberer.Outtweetingxa0thexa0Twitterers-Predictingxa0Informationxa0Caseadesxa0inxa0Microblogs[C].Inxa0Conferencexa0onxa0Onlinexa0socialxa0networks(WOSN),2010.)研究了微博网络的网络拓扑结构及信息传播路径。B.Suh等(B.Suh,L.Hong,etc.Wantxa0toxa0bexa0Retweeted?Largexa0Scalexa0Analyticsxa0onxa0Factorsxa0Impactingxa0Retweetxa0inxa0Twitterxa0Network[C].Inxa0IEEExa0Internationalxa0Conferencexa0onxa0Socialxa0Computing(SocialCom),2010)分析了与微博转帖相关的因素,发现原帖是否包含URL(Uniformxa0Resourcexa0Locator)、hashxa0tags,帖子发布时间,作者的权威性等将影响用户的转帖行为。目前的研究集中在信息传播过程的解释及关联因素的分析上,抽取了影响用户参与信息分享的因素,以及各因素的重要性。但是,如何结合这些已得到的加权因素,预测用户在信息传播中的行为以及微博群体响应,缺乏有效的用户行为预测模型。因此这些研究无法拓展到实际微博网络突发事件预警、虚拟市场规划等应用中。
发明内容
本发明要解决的技术问题是提供一种基于多元特征的微博信息传播行为预测方法,它能方便、准确地预测用户在信息传播中的行为以及微博群体响应;为此本发明还要提供一种基于多元特征的微博信息传播行为预测系统。为了解决上述技术问题,本发明的基本构思是:基于抽取影响用户参与信息分享的多元特征,构建最大熵用户行为预测模型,预测用户在信息传播中的行为以及微博群体响应。对于本发明的一种基于多元特征的微博信息传播行为预测方法来说,上述技术问题是这样解决的:一种基于多元特征的微博信息传播行为预测方法包括如下步骤:a、微博网络数据预处理步骤,获取网络数据,并对相关数据进行预处理;b、微博网络预测模型建立步骤,根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测步骤,基于所述预测模型预测用户行为趋势。作为一种基于多元特征的微博信息传播行为预测方法的一种优选所述微博网络数据预处理步骤中获取网络数据包括获取用户、发帖转帖、用户关系信息。作为一种基于多元特征的微博信息传播行为预测方法的一种优选所述微博网络数据预处理步骤包括去除广告及不完整的帖子。作为一种基于多元特征的微博信息传播行为预测方法的一种优选所述微博网络数据预处理步骤包括计算每个原帖下,各用户的内容特征、网络特征及时间特征。作为上述预测方法的一种优选所述内容特征共8个,原帖T与用户u发帖集合V₁的内容相似性特征f₁,原帖T与用户u转帖集合V₂的内容相似性特征f₂,原帖T是否包含URL的特征f₃及该URL在用户参与帖子集合V(V=V₁+V₂)中出现次数特征f₄,原帖T是否包含hashxa0tag(标志为“#短语”)的特征f₅及该hashxa0tag在用户参与帖子集合V中出现次数特征f₆,原帖T是否包含引用(标志为“用户名”)的特征f₇及该引用在用户参与帖子集合V中出现次数特征f₈,上述原帖T与V₁的相似性为T与集合V₁所有帖子相似性的平均值ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="593"/>其中集合V₁包含帖子V₁=<T₁,T₂,T₃...T_m>,帖子T_i经分词和去停止词后对应的n维词条向量为<w_i1,w_i2,w_i3...w_in>,其中w_in为帖子中词条j的权重,因此任意两帖子T_i、T_j相似性为 sim < T i , T j > = Σ k = 1 n w ik × w jk Σ k = 1 n w ik 2 × Σ k = 1 n w jk 2 . ]]>作为上述预测方法的一种优选所述网络特征共6个,原帖T作者的好友数特征f₉,原帖T作者的追随者数特征f₁₀,原帖T作者与用户u的共同好友数特征f₁₁,T作者与用户u的共同追随者数特征f₁₂,T作者与用户u的共同引用数特征f₁₃,T作者与用户u的共同转帖数特征f₁₄。作为一种上述预测方法的一种优选所述时间特征共3个,用户u当前活跃度特征f₁₅(等于最近一小时内参与帖子数),原帖发布时间特征f₁₆,最近一小时内网络中的新帖子数特征f₁₇。作为一种基于多元特征的微博信息传播行为预测方法的一种优选所述微博网络预测模型建立步骤,其模型为最大熵模型,最大熵模型使用已有的帖子作为训练数据,将每个原帖下用户的特征作为模型输入,用户是否转发原帖,以0和1表示,作为模型输出,使用迭代方法训练模型参数。作为一种基于多元特征的微博信息传播行为预测方法的一种优选所述最大熵模型,根据原帖用户的特征,得到用户转帖的概率估计 p ( y | r ) = 1 Z ( r ) exp ( Σ k = 1 17 λ k f k ( r , y ) ) , ]]>其中 Z ( r ) = Σ y exp ( Σ k = 1 17 λ k f k ( r , y ) ) ]]>为归一化分母,λ_k为各用户特征的权值,r为一个原帖,y为用户的决策(参与/不参与转帖),λ为未知量,其似然函数为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="679"/>R为原帖的个数,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="150"/>为惩罚项,因而可根据已知帖子数据,用梯度迭代方法求解。对于本发明的一种基于多元特征的微博信息传播行为预测系统来说,上述技术问题是这样解决的:一种基于多元特征的微博信息传播行为预测系统包括:a、微博网络数据预处理模块,用于获取网络数据,并对相关数据进行预处理;b、微博网络预测模型建立模块,用于根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测模块,用于基于所述预测模型预测用户行为趋势。作为一种基于多元特征的微博信息传播行为预测系统的一种优选所述微博网络数据预处理模块进一步包括:采集微博网络模块、去除广告及不完整帖子模块、结构化至数据库模块、计算用户内容、网络、时间特征模块。相对于现有技术而言,本发明具有以下优点:通过对信息传播过程的解释及关联因素的分析,抽取影响用户参与信息分享的因素,以及各因素的重要性,结合这些已得到的加权因素,通过建立有效的用户行为预测模型,预测用户在信息传播中的行为以及微博群体响应,这些研究可以拓展到实际微博网络突发事件预警、虚拟市场规划等应用中。
附图说明
图1为本发明一种基于多元特征的微博信息传播行为预测方法实施例流程图。图2为本发明一种基于多元特征的微博信息传播行为预测方法实施例中微博网络数据预处理步骤流程图。图3为本发明一种基于多元特征的微博信息传播行为预测系统实施例结构框图。图4为转帖率随作者追随者数量变化图。图5为一天内转帖数随帖子发布时间变化图。图6为一周内转帖数随发布时间变化图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。图1为本发明一种基于多元特征的微博信息传播行为预测方法实施例流程图,包括如下步骤:a、微博网络数据预处理步骤S10,获取网络数据,并对相关数据进行预处理;b、微博网络预测模型建立步骤S11,根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测步骤S12,基于所述预测模型预测用户行为趋势。图2为本发明一种基于多元特征的微博信息传播行为预测方法实施例流程图中微博网络数据预处理步骤S10实施例流程图,微博网络数据预处理步骤进一步包括:采集微博网络步骤101、去除广告及不完整帖子步骤102、结构化至数据库步骤103、计算用户内容、网络、时间特征步骤104。图3为本发明一种基于多元特征的微博信息传播行为预测系统实施例框图,包括:a、微博网络数据预处理模块111,用于获取网络数据,并对相关数据进行预处理;b、微博网络预测模型建立模块112,用于根据经预处理获得的数据,建立相应的预测模型;c、微博网络预测模块113,用于基于所述预测模型预测用户行为趋势。首先通过采集微博网络步骤101获取微博网络数据。可通过微博提供的开放API,按固定的URL格式,如新浪微博的用户好友列表的请求URL格式为“http://api.t.sina.com.cn/statuses/friends.json”。通过API接口可获取用户信息及帖子信息,包括用户创建时间、好友列表、追随者列表、用户发帖时间及内容、转帖时间、回复内容、系统状态等。使用API接口操作简捷,获取的数据覆盖面宽,但微博网站通常对客户端API的访问频率做了限制,每小时只能进行一定次数的请求,采集效率不高。另一种方法是直接采集网页源文件,模拟用户网页登录,将带有用户名密码的URL提交网站服务器,验证通过后将cookie存入session中,其后请求URL时使用该session做验证。因微博使用ajax技术,因此采集时要进行javascript解析,分析出微博数据的实际地址,获取源文件。采集时从初始的URL开始,获取网页源文件,解析出新的URL放入待访问URL队列,访问速度不受API的限制。但采集的信息不够全,对同一个用户,也可能丢失掉部分信息。实际采集时结合两种方法,在API的访问频率达到上限后,以网页源文件方式抓取。微博中,用户会将感兴趣的其他人添加关注,这些人将会出现在该用户的好友列表中,而该用户也会出现在这些人的追随者列表中。关注对象发布的消息,将被推送给该用户,因此该用户受到了其关注对象的强烈影响,帖子信息是随着用户好友关系网络进行传播的。然后,用户的关注对象很少也对该用户添加关注,也几乎不转发该用户的帖子。用户的好友网络与追随者网络是不对称了,双向链接仅占链接总数的22%。采集到的数据经去除广告和无效的信息步骤102后,通过结构化至数据库步骤103,存入数据库,对应用户表、用户关系表、发帖转帖表。用户表包括用户名、用户ID、用户创建时间、用户好友数、追随者数、发帖数等字段,关系表包括用户1的ID,用户2的ID,关系创建时间、共同好友数、共同追随者数等字段,发帖转帖表包括帖子ID,帖子内容、发布者ID、发布时间、是否为转帖、原作者ID等字段。使用网页源文件采集时,需要使用不同的模板,从源文件中抽取出所需要的结构化数据,存入数据库中。在将数据存储之前,需要删除广告用户及无意义的信息。微博中存在大量的广告用户,不断发布产品宣传、交易、服务等信息,多数包含有指向外网的链接。这些用户中,大多数是临时用户,部分公司为了即时的需要,新创建一些账号,散布广告信息,发布完消息后不再使用这些账号,因此账号的活跃时间较短。在筛选时,删除活跃时间少于1天的用户及其发布转发的所有帖子。少数广告用户虽然活跃时间大于1天,由于其在短时间内大量发帖,且发布的信息中包含较多链向单一外网的链接,因此也删除这些用户及其发表转发的帖子。此外,一些用户常常发布表达其心情状态等信息,字数通常在10字以内,这部分信息将降低内容相似性判断的准确性,影响模型预测性能,因此也删掉这些帖子。在数据的发帖转帖表中,找出所有原帖,通过计算用户内容、网络、时间特征步骤104,计算其与每个用户(即原帖——用户对)的内容特征、网络特征及时间特征总计17个特征。用户发表转发的帖子,通常具有一定的内容团聚性,如某些用户关注娱乐消息,而一些用户关注社会动态,因此用户参与的帖子集合反应了其兴趣偏好。对每个原帖,经分词、去无意义词及停止词后,转化成词条向量,计算原帖与用户参与帖子集合的相似性。原帖T对应的词条向量为<w₁,w₂,w₃...w_n>,其中w_j为词条j的权重。w_j采用经典的TF×IDF定义。IDF根据所有原帖来计算。一个用户u参与帖子集合V包括发布帖子集合V₁,转发帖子集合V₂。V₁、V₂均包含一系列的帖子,如V₁=<T₁,T₂,T₃...T_m>。帖子间的相似性使用帖子词条向量夹角的余弦来度量,两帖子T_i,T_j,它们之间的相似性为 sim < T i , T j > = = T i · T j | T i | × | T j | = Σ k = 1 n w ik × w jk Σ k = 1 n w ik 2 × Σ k = 1 n w jk 2 . ]]>若用户发帖集合V₁,原帖T,该原帖与用户发帖集的相似性为该原帖与发帖集合所有帖子相似性的平均值ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="598"/>相似性较高的帖子,在向量空间中的夹角越小,倾向于描述同一话题,反之,相似度越低的帖子,属于不同话题的概率越大。原帖T与用户u发帖集合V₁的内容相似性特征为f₁,原帖T与用户u转帖集合V₂的内容相似性特征f₂。统计表明,那些被转发的帖子,30%以上包含URL,因此是否包含URL是一个帖子能否被转发的重要因素。原帖T是否包含URL的特征f₃及该URL在用户参与帖子集合V(V=V₁+V₂)中出现次数特征f₄。URL通常指向外网,可包含某一新闻、视频、图片等信息,更能引起用户兴趣。原帖T是否包含hashxa0tag(标志为“#短语”)的特征f₅及该hashxa0tag在用户参与帖子集合V中出现次数特征f₆。hashxa0tag通常是热门的关键字,对应着某些热门话题。原帖T是否包含引用(标志为“用户名”)的特征f₇及该引用在用户参与帖子集合V中出现次数特征f₈。引用能直接链向“用户名”用户的主页,包含引用的帖子,被转载的概率也较大。一个用户的帖子能否获得大量转载,与作者的重要性及其社会关系密切相关。用户的好友越多,该用户所发帖子获得转载的数量也越大。并且,若某一用户与作者的共同好友数较大,该用户能受到来自不同路径信息的刺激,更倾向于转载作者发布的帖子。因此,定义网络特征共6个,原帖T作者的好友数特征f₉,原帖T作者的追随者数特征f₁₀,原帖T作者与用户u的共同好友数特征f₁₁,T作者与用户u的共同追随者数特征f₁₂,T作者与用户u的共同引用数特征f₁₃,T作者与用户u的共同转帖数特征f₁₄。每个用户都有自己相对固定的上网时间,在该时段内,用户较活跃,发帖转帖概率较大,而其他时间很少参与话题的传播。而用户好友越活跃,好友频繁的发布新帖,积累的可转发帖子越多。但用户的兴趣及处理能力有限,不可能去阅读并转载所有帖子。因此积累的帖子越多,对单个帖子而言,获得转发的概率越小。定义时间特征共3个,用户u当前活跃度特征f₁₅(等于最近一小时内参与帖子数),原帖的发布时间特征f₁₆,最近一小时内网络中的新帖子数特征f₁₇。原帖的发布时间特征定义为,将帖子的发布时间以小时为单位进行划分,计算划分时段内帖子的平均转发概率。将上述的用户的17个特征,建立用户行为的最大熵模型。在原帖r下,用户i的决策为y(参与/不参与转帖),p(y|r)为用户i在原帖r下转帖的概率。若ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="147"/>为用户转帖的经验分布,p(r,y)=p(r)p(y|r)为模型确定的概率分布。则特征函数f(r,y)的经验数学期望为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="540"/>模型确定的数学期望为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="665"/>根据最大熵模型的约束条件,经验数学期望等于模型的数学期望,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="319"/>因此用户i的转帖的最大熵模型为: p ( y | r ) = 1 Z ( r ) exp ( Σ k = 1 17 λ k f k ( r , y ) ) , ]]>其中 Z ( r ) = Σ y exp ( Σ k = 1 17 λ k f k ( r , y ) ) ]]>为归一化分母。λ_k为用户特征的权值,为未知量,需要由已知帖子数据训练得到。上式中的λ_k可根据已有的成对(原帖——用户行动)数据,即在不同原帖下的(r,y),可计算出各特征[f₁(r,y),f₂(r,y)...f₁₇(r,y)]作为输入,用户是否转帖(y=0或y=1)作为输出,进行最大似然估计。最大熵模型的最大似然函数为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="678"/>其中R为原帖个数,即训练样本数,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="150"/>为避免发生过度学习而引入的惩罚项。进一步地l(λ)可表示为 l ( λ ) = Σ r , y p ~ ( r , y ) Σ k = 1 17 λ k f k ( r , y ) - Σ r p ~ ( r ) log Z ( r ) - Σ k = 1 17 λ k 2 2 σ 2 . ]]>λ_k可由梯度迭代方法求解, ∂ l ( λ ) ∂ λ k = E p ~ ( r , y ) [ f k ] - E p ( y | r ) [ f k ] - λ k σ 2 . ]]>训练每个用户的最大熵模型,用于估计新话题下用户的传播行为。对新发表的原帖,计算其与各用户的内容特征、网络特征及时间特征共17个,并将这些特征输入模型,模型的输出即为新主题下各用户参与信息传播的预测结果。模型可输出二值数据(0或1),用于单用户转帖行为估计,监测指定用户的活动趋势。也可以概率形式输出,表示用户参与话题的可能性,从而可统计参与某一主题的期望用户数目,衡量话题流行性及时效性。根据预测的信息传播范围和传播途径,当出现大规模群体性事件时,可提供网络突发事件预警。采集某著名门户网站的微博数据,经过一周的采集,获取了1700万帖子以及45万个用户信息。该网站开放API的普通账号每小时允许的最大请求次数为150,每个IP每小时的请求次数为1000,每次请求最多能获取200帖子,或者2000个好友与追随者信息。使用8台服务器分配不同的IP,并行收集微博数据,同时将数据存储至数据库的用户表、帖子表、用户关系表中。对每个原帖,使用上述方法计算用户的17个特征,存储至特征表中。由于服务器的限制,每个用户最多只能获取5000好友或追随者,获取的数据不够完全,部分用户好友关系不完整。数据集中完整的用户应具有如下特征:数据集包括该用户的所有原帖转帖;数据集包括该用户的所有好友;数据集包括该用户的所有追随者;数据集包括该用户好友及追随者的所有帖子。从数据库中选取1000个完整的用户作为用户集,以及与其相关28760个原帖,检测模型的效果。随机选择14380个原帖作为训练数据,另外一半的原帖作为测试数据。图4为转帖率与作者追随者数量的关系。根据用户的追随者数,以300为单位分组,统计每组中用户原帖获得平均转帖率。转帖率为该组用户帖子的转发数除以该组用户的帖子数,并进行归一化。归一化因子为网络总转发数除以总帖子数。因此归一化后,总平均转帖率为1。由图4可以看出,用户帖子的转发率随作者的追随者数单调递增,追随者多的领袖用户,其发布的帖子能获取更大范围的转载,影响更深远。由此可见,作者的追随者数量是影响用户转帖的重要因素。图5为一天内转帖数随帖子发布时间的变化。可见转帖数在不同的发布时间变化幅度较大,峰值出现在上午9点至11点之间,而上午8点至下午2点这段时间的转发数,远大于夜间0点至早上8点内的转发数。转发数的变化与用户的作息时间密切相关,因此帖子发布的时间,将影响其获得转载的可能性。图6为一周内转帖数随发布时间变化。将每天从夜间0点开始切割成4个时段,从而每周包含28个时段。每天第一个时段转发数最低,而第二时段转发数最高,这与图5的结果一致。且周四、周五、周六获得的转发数较多,而周日、周一的转发数较低。因此原帖的发布时间也将影响该帖子获得转载数,将原帖的发布时间划分到不同的时段下,这对应着第16个特征。表1为上述的用户的内容、网络、时间特征总计17个特征的权值符号及绝对值排序。若特征的权值为正,表示该特征越大,转帖的概率越大,而若权值为负,表示特征越大,转帖概率越小。特征权值的绝对值越大,表示该特征影响越大,更为重要。可见,仅第17个特征(最近一小时内网络中的新帖子数)权值为负,其他权值均为正值。且原帖T与用户u发帖集合V₁的内容相似性特征f₁,原帖T与用户u转帖集合V₂的内容相似性特征v₂,原帖T作者与用户u的共同好友数特征f₁₁,T作者与用户u的共同追随者数特征f₁₂,对转帖的影响较大,绝对值排序靠前。表1各特征权值的符号及绝对值排序xa0xa0特征
xa0xa0符号
xa0xa0绝对值排序
xa0xa0原帖与用户发帖集的内容相似性
xa0xa0+
xa0xa01
xa0xa0原帖与用户转帖集的内容相似性
xa0xa0+
xa0xa02
xa0xa0原帖T是否包含URL的特征
xa0xa0+
xa0xa011
xa0xa0URL在用户参与帖子集合中出现次数
xa0xa0+
xa0xa012
xa0xa0原帖是否包含hashxa0tag
xa0xa0+
xa0xa013
xa0xa0hashxa0tag在用户参与帖子集合中出现次数
xa0xa0+
xa0xa016
xa0xa0原帖是否包含引用
xa0xa0+
xa0xa014
xa0xa0引用在用户参与帖子集合中出现次数
xa0xa0+
xa0xa017
xa0xa0原帖作者的好友数特征
xa0xa0+
xa0xa09
xa0xa0原帖作者的追随者数
xa0xa0+
xa0xa07
xa0xa0原帖作者与用户的共同好友
xa0xa0+
xa0xa03
xa0xa0作者与用户的共同追随者数
xa0xa0+
xa0xa04
xa0xa0作者与用户的共同引用数
xa0xa0+
xa0xa015
xa0xa0作者与用户的共同转帖数
xa0xa0+
xa0xa010
xa0xa0用户当前活跃度
xa0xa0+
xa0xa05
xa0xa0原帖发布时间
xa0xa0+
xa0xa08
xa0xa0最近一小时内网络中的新帖子数
xa0xa0-
xa0xa06
用户行为模型的预测性能可由召回率、精度以及F1分数来度量。使用包含14380个帖子的测试数据集,检测模型的性能。若N为预测正确的转帖数,M为预测总转帖数,T为实际的总转帖数,则召回率为recall=N/T,精度为precision=N/M,F1分数为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="551"/>对所有1000个用户,可得到平均召回率、平均精度及平均F1分数。表2为模型的召回率、精度及F1分数。同时,为了检测训练数据集对模型预测性能的影响,依次将训练数据集缩小至1/2、1/4(即7190、3595个原帖),重新训练模型,并计算模型的平均召回率、精度及F1分数。可见,精度与训练数据集大小无关,召回率会随着训练数据的减少略微下降,但是训练速度显著提高。7190个原帖的训练数据集能够得到较好的性能。表2不同训练集下的平均召回率、精度、F1分数xa0xa0训练集
xa0xa0召回率
xa0xa0精度
xa0xa0F1分数
xa0xa03595
xa0xa00.658
xa0xa00.792
xa0xa00.7188
xa0xa07190
xa0xa00.693
xa0xa00.822
xa0xa00.752
xa0xa014380
xa0xa00.733
xa0xa00.826
xa0xa00.7767
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,包括不限于以上方式,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。